青涩少年的十足愚蠢
The Sheer Folly of Callow Youth
❦
❦
这说的正是青涩少年的十足愚蠢；那种鲁莽，源自深不见底的无知，而那样的无知，也只有你们这短命种族中的一员才可能拥有……
很多年前，曾有那么一阵子，我提出过一个神秘问题的神秘答案——正如我在好几个地方都曾暗示过的。不过，我拿来配上神秘答案的那个神秘问题，并不是意识——或者更准确地说，不只是意识。不，更令人尴尬的错误在于，我曾以一种神秘化的方式看待道德。
我直到现在，在写完元伦理学序列之后，才来谈这件事，因为我想先把这一点说清楚：Eliezer1997 确实错了。
上回说到这里时，Eliezer1997 已经不满足于只从直觉上论证超级智能会是有道德的了；他正准备去论证：创造超级智能无可逃避地就是正确之举。
好吧，（Eliezer1997 说）让我们先从这样一个问题开始：生命事实上真的有任何意义吗？
「我不知道，」Eliezer1997 立刻回答道，而且在承认自己在这个别人似乎都很笃定的问题上其实无知时，语气里还带着一丝自我赞许。
「但是，」他接着说——
（每当一句承认无知的话后面跟着一个「但是」，你都要格外警惕。）
「但是，如果我们假设生命毫无意义——也就是说，一切结果的效用都等于零——那么这种可能性就会在任何期望效用计算中相互抵消。因此，尽管我们并不知道生命的意义究竟是什么，我们仍然总可以像生命已知是有意义的那样行动。我们要怎样找出那种意义？考虑到人类至今还在为此争论，这大概是个对人类来说太难的问题。所以我们需要一个超级智能替我们解决这个问题。至于另一种可能——偏好与偏好之间根本不存在任何逻辑上的正当化——那么在这种情形下，建造超级智能并不比做其他任何事更对，也不比做其他任何事更错。这是一种真实可能，但它会从任何试图计算期望效用的过程中掉出去——我们应该直接忽略它。凡是有人说超级智能会抹除人类，他们要么是在论证：抹除人类事实上就是正确之举（尽管我们看不出事情为什么会是这样），要么是在论证：根本不存在任何正确之举（那样的话，他们关于我们不该去构建智能的论证就自我击败了）。」
呃。那一段写起来真的极其痛苦。过去的我，总是我自己最浓缩的氪石，因为过去的我，恰恰精确无误地就是现代的我早已给自己装上过敏机制、专门用来拦截的那一切东西。所谓父母会把他们告诫孩子别做的事全都做上一遍，因此他们才知道那些事不能做；这话真是说得不错。过去自我与未来自我之间，同样如此。
Eliezer1997 的论证究竟错到什么地步？我甚至数不清有多少种错法。我知道记忆并不可靠，每次回忆时都会被重新拼装，所以我并不信任自己用现代头脑去拼接这些旧碎片的结果。别让我去读自己当年的旧文章；那太痛苦了。
但有一点似乎很清楚：我那时把效用想成某种「东西」，某种内在属性。所以，「生命毫无意义」就对应于 utility = 0。但当然，把 utility = 100 代进去，这套论证照样一样成立；也就是说，如果一切都是有意义的，只不过一切都同样有意义，那它也照样会被消掉……我当时当然并没有把效用函数理解成偏好上的一种仿射结构。我那时想的，是「效用」作为一种内在价值的绝对水平。
我那时把应当想成一种纯粹抽象的、带有强制力的本质，一种「会让你去做某事的东西」；于是显然，任何一个推导出了某种应当的心智，都会受它约束。于是就有了这样一个前提——Eliezer1997 甚至压根没想到要把它明确记下来——即：一种能迫使任意心智去做某事的逻辑，恰好也就是人类在说出「正确」这个词时所意指、所指涉的那个东西……
但现在我在试着数这些错法，而如果你一直有一路跟到这里，你应该已经能自己处理这件事了。
这整场失败里一个重要的方面在于：因为我已经证明了「生命毫无意义」这种情形不值得考虑，我就觉得根本没有必要去严格定义「智能」或「意义」。更早之前，我还曾想出一个聪明理由，解释为什么在试图定义「智能」（或「道德」）时，不该老想着把一切都做成形式化、严格化的东西——理由就是，过去那些 AI 圈人士、哲学家和道德家们，曾经用各种没抓住重点的定义玩过太多次偷梁换柱。
我从中得到如下教训：无论你为放松标准、或者逃避某项严谨性要求，找出了多么聪明的理由，它照样会把你的脚炸飞。
还有另一个教训：我曾经很擅长反驳。如果当年我对自己的立场，也施加那种只要发现任何瑕疵就据此驳回的严格程度——正如我过去拿它去击败别人拿来反驳我的论证一样——那我本该会盯住那个逻辑缺口，然后把整个立场驳回掉——如果我当时真心想这么做的话。如果我当时对它怀有的偏见，能和我对辩论中其他立场怀有的偏见一样多的话。
但那是在我听说 Kahneman 之前，在我听说「动机性怀疑」这个词之前，在我把「存在一个恰好正确的不确定状态，足以概括全部证据」这一概念整合进来之前，也是在我意识到：对喜欢的立场去问「我被允许相信吗？」、对不喜欢的立场去问「我被迫非信不可吗？」，究竟有多致命之前。那时的我，不过是个传统理性主义者，把科学过程看作那些各自站队、彼此论辩的人之间的裁判而已——愿最强的一方取胜。
我最终的缺陷，并不是对「智能」的偏爱，也不是任何程度的技术迷恋与那类高唱有感知存在彼此手足情谊的科幻作品。它当然也不是我发现漏洞的能力。如果我始终用更高的严谨标准要求自己，并且在此之外不预先站队，那么这些东西里没有一项可能把我带偏。哪怕只是我拿审视反驳论证时那种同样的严谨要求，去审视我自己偏爱的那个模糊立场，也不至于如此。
但我当时对反驳「生命有意义」这个信念并没多大兴趣，因为在我的推理里，只要生命确实有意义的那些情形一出现，就总会占据支配地位。
而且，既然智能爆炸已然利害攸关，我觉得自己只好用手头当时能动用的最佳概念，全速前进，而不是为了寻找一个那么多人都搞砸过的完美定义，就把一切都停下来关掉……
不。
不，你不能在当时就拿自己能用的最佳概念来用。
裁决你的是自然，而自然连最义正词严的借口都不接受。如果你达不到标准，你就失败。事情就是这么简单。不存在某种聪明论证，能解释为什么你非得拿手头现有的东西将就，因为自然根本不会听这种论证，也不会因为你为了赶时间有那么多绝佳理由，就宽恕你。
Donald Rumsfeld 带着自己手头那支军队，而不是他真正需要的那支军队去打仗，结果如何，我们都知道。
也许 Eliezer1997 根本不可能凭空变出正确模型。（不过，谁知道呢——如果他当时真的拼命去试过……）而且，让他在严谨性还没凭空跳出来之前就彻底停止思考，也并不明智。
但同样不正确的是：在缺乏精确性的情况下，Eliezer1997 却把自己的全部分量压在了那个「最佳猜测」上。你当然可以在自己过渡性的思考过程中使用模糊概念，一边对当前这些模糊线索并不满意，一边继续寻找更好的答案，并且不愿把自己的分量压在它们上面。你不能基于一种过渡性的理解去建造超级智能。不，哪怕那已经是你手上「最好」的模糊理解，也不行。那正是我的错误——我以为只要说一句「最佳猜测」，就能为任何事开脱。其实只有一个事实：我没达到那个标准。
当然，Eliezer1997 不想在通往智能爆炸的路上放慢脚步，因为有那么多生命利害攸关；而且如果我们先进入的是纳米武器时代，而不是超级智能时代，那么地球起源的智能生命本身能否存续，也利害攸关——
自然不在乎这些义正词严的理由。那里只有成功所需的、天文级之高的标准。你要么达到它，要么失败。就这些。
末日不需要对你公平。
末日不需要因为你已经拿出了什么，就回赠你一个成功的机会。
末日的难度不会与你的技能相匹配。
末日的代价不会与你的资源相匹配。
如果末日向你索取某种不合理之物
而你试图把价码稍微砍低一点
（因为每个人偶尔都得妥协一下）
末日不会试着再把价码抬回去。
而且，哦对了，情况还会更糟。
Eliezer1997 又是怎么处理那个显而易见的论证的呢？那个论证说：你根本不可能从纯逻辑中推出一个「应当」，因为「应当」陈述只能从别的「应当」陈述里推出。
好吧，（Eliezer1997 观察道）这个问题在结构上，和那种论证是一模一样的：说因果只能来自别的因果，或者真实之物只能来自别的真实之物，于是你便可以证明根本什么都不存在。
于是（他说）这里有三个「难问题」：有意识体验的难问题——在那里我们看见感质无法从可计算过程里产生；存在的难问题——在那里我们追问任何存在究竟如何仿佛从虚无中进入；以及道德的难问题——也就是如何抵达一个「应当」。
这些问题很可能彼此相关。比如说，愉悦的感质，就是某种内在上值得欲求之物的最佳候选之一。因此，如果不先解开意识的难问题，我们也许就无法理解道德的难问题。这些问题显然对人类来说太难了——否则，自从哲学诞生以来的这 2500 年里，总该早就有人把它们解出来了。
它们不可能有多复杂的解法——因为这些问题太简单了，简单得容不下复杂解法。问题一定只是落在人类概念空间之外。既然我们看得出来，意识不可能从任何可计算过程里产生，那么它一定涉及新物理——一种我们的大脑正在使用、却无法理解的物理。这就是为什么我们需要超级智能来解决这个问题。它多半和量子力学有关，也许还得再掺上一点来自广义相对论的微小闭合类时曲线；时间悖论或许也具有某些与意识看来所要求的不可还原性相同的性质……
诸如此类，不胜其烦。你大概已经能从我 Overcoming Bias 博文的整体弧线中，看出那封我多想写给自己的信。
我从中学到的教训是：你无法操纵困惑。你无法制定什么聪明计划，去绕过自己理解中的空洞。你甚至没法对那些从根本上让你困惑的东西作出「最佳猜测」，再把它们与别的令人困惑之物联系起来。好吧，你当然可以这么做，但在你的困惑消解之前，你是做不对的。困惑存在于心智之中，不存在于现实之中；试图把它当作某种可以拿起来、挪来挪去的东西，只会制造出无心插柳的喜剧效果。
同样地，你也无法想出什么聪明理由，来证明自己模型里的那些空缺无关紧要。你无法在谜团周围画出一道边界，再装上漂亮把手，让自己无需真正理解，就能拿来使用那个「神秘之物」——就像我当年试图让「生命可能毫无意义」这种可能性，在一个期望效用公式里自动相互抵消那样。你没法把那个空缺拿起来，任意摆弄。
如果你地图上的空白处下面埋着一颗地雷，那么无论你为自己的不知情找出了多好的借口，只要你把自己的分量压在那个点上，结果就是致命的。任何黑箱里都可能藏着陷阱，而除了把黑箱打开、往里看之外，你没有别的办法知道。只要你给自己想出某种义正词严的理由，说你必须带着手头最好的理解赶紧继续往前冲——陷阱就会爆炸。
只有当你知道了规则，
你才会明白自己为什么非学不可；
否则会发生什么，
以及你原来需要知道这么多。
只有知识，才能预先告诉你无知的代价。古代炼金术士没有任何逻辑上的办法，能提前知道为什么把铅变成金子这件事对他们来说会那么难。于是他们把自己毒死了。自然并不在乎。
但后来，确实有那么一个时刻，我开始隐约意识到了这一切。
Edward Elmer Smith, Second Stage Lensmen (Old Earth Books, 1998). ↩︎